Recherche d'information. Analyse des résultats de différents systèmes réalisant la même tâche

RESUME: Les systèmes de recherché d’information visent à optimiser les résultats qu’ils fournissent en réponse à une requête de l’utilisateur. Les performances de ces systèmes sont généralement mesurées par rapport à des collections de test communes, comme les collections de TREC (Text REtrieval Conférence). Cette évaluation est réalisée de façon globale, en calculant une moyenne des résultats sur un ensemble de cinquante requêtes. Ainsi, la valeur ajoutée des différentes techniques utilisées par tel ou tel système n’apparaissent pas clairement. Cet article vise à étudier plus finement les résultats obtenus dans une tâche de recherche d’information et répond aux questions suivantes : les requêtes peuvent­elles être classifiées? Y a­t­il une corrélation entre les performances des systèmes sur les différentes requêtes ? La tâche choisie est celle de recherche de passages pertinents et/ou nouveaux. Nous montrons que les variations dans les résultats sont plus corrélées aux outils qu’à leurs différentes versions. ABSTRACT : Information retrieval systems aim at answering users’ needs. Information Retrieval System performances are evaluated using benchmark collections such as TREC (TExt Retrieval Conference) collections. Evaluation is generally based on global evaluation, computing average results over a set of fifty queries. Doing so, the added value of the different techniques used is not easy to show. This paper aims at studying in more details results obtained in a IR task that answers the following questions: can queries be classified? Is there correlation between system performances and queries? The IR task we chose is passage retrieval and novelty detection. We show that variations in results more related to systems than to system versions. MOTS­CLES: Recherche d'information, recherche de passages, détection de la nouveauté, analyse de résultats, typologie de requêtes, analyse factorielle